路由化 3D 特权蒸馏提升视觉语言模型空间推理
🧭 VLM 空间推理 · 特权蒸馏
浙江大学
将深度、语义、BEV 等 3D 几何线索作为特权，在 GRPO 中对错误轨迹做路由化蒸馏，提升 VLM 空间推理且部署保持仅 RGB
📌 工作参考价值（4 点）
- 借鉴「特权信息蒸馏」思路：训练时引入部署时不可用的 3D 几何、商品属性、用户行为后验等特权信号作为教师，通过 KL 蒸馏到仅 RGB/文本输入的在线模型，在不增加推理延迟的前提下提升空间推理或多模态判断能力，尤其适合电商图像中的家具尺寸、商品摆放、场景布局理解。
- 借鉴「仅对错误轨迹施加特权 KL」的稀疏监督：在 RLVR/GRPO 流程中，只对模型出错的样本做特权蒸馏，能更高效利用稀疏错误信号，降低训练开销并改善收敛稳定性；推荐/Agent 系统中也可以只对失败案例蒸馏专家/特权信息。
- 借鉴「问题条件路由」：按问题内容只注入相关几何线索（如当前问的是距离则只给深度，问的是方向则给 BEV），而非全量上下文，避免冗余信息稀释注意力；可迁移到 Agent 或推荐模型中对多源特征的按需路由与融合。
- 多种特权可以互补：答案特权和几何特权叠加优于单一特权，业务上可同时蒸馏商品属性、用户反馈、场景 3D 等多类特权，进一步压缩模型与真实环境的信息差。
SpatialBlock：通过合成积木堆叠问题增强 LVLM 空间智能
🧭 LVLM 空间智能 · 合成数据训练
KAIST · AITRICS
用 15k 合成积木堆叠数据训练 LVLM，显著提升 3D 空间推理并泛化到真实场景
📌 工作参考价值（4 点）
- 借鉴合成数据思路：当真实标注昂贵且有噪声时，用结构化合成任务训练模型专项能力。在电商场景可生成产品摆放/货架布局/包装堆叠等合成图像，低成本提升 LVLM 对商品空间关系的理解。
- 锚点式推理：通过 controlled color modulation 注入视觉线索，引导模型在复杂图像中关注关键区域。可用于商品图属性标注、广告创意布局评估等任务，降低对密集几何标注的依赖。
- 小规模高针对性数据集即可带来泛化：15k 合成数据就能提升真实空间任务，说明针对核心认知子任务的合成数据比大规模弱标注更高效，适合业务中快速验证新能力。
- 多目标训练：直接回答与 reasoning-based prediction 两种方式均可提升，可在业务 LLM 中同时保留直接输出和 CoT 解释输出，提升鲁棒性。
UrbanGround：从局部感知到真实城市空间行动能力
🧭 MLLM智能体城市空间导航评估
Shanghai Jiao Tong University · National University of Singapore · Meituan · The Chinese University of Hong Kong · Shanghai University
提出香港真实3D城市沙盒UrbanGround，系统性评估MLLM智能体从局部视觉感知到持续导航行动的可靠性
📌 工作参考价值（4 点）
- 渐进式评估设计可迁移：论文通过三个递进问题（局部场景grounding → 远距离导航 → 路线与行人扰动）暴露智能体能力断裂点，电商Agent评估同样应区分单步能力与多步组合能力，避免局部指标掩盖全局失败。
- 长程任务错误累积的警示：MLLM在短距离空间推理尚可，但持续探索中错误无法纠正，这提醒在构建推荐或搜索Agent时，需加入全局状态追踪与纠错机制，而非单纯堆叠单步模型能力。
- 高保真仿真环境的价值：基于真实地理数据构建可闭环交互的沙盒，能为Agent提供物理约束下的测试场。电商场景可借鉴构建虚拟购物环境，测试Agent在商品导航、路径规划中的鲁棒性。
- 论文核心是具身智能与空间导航，与电商推荐业务直接关联较弱，可借鉴点主要集中在Agent评估方法论与仿真环境设计。
超越单一专家：协调多模态大语言模型中的多样化视觉先验以增强空间理解
🧭 多模态空间理解 · 多先验融合
The University of Hong Kong
提出ViPS框架，通过高效代理和动态融合将多个视觉模型的互补先验集成到MLLM中，显著提升空间推理性能
📌 工作参考价值（4 点）
- 可借鉴多先验融合思想：在电商多模态商品理解中，同时接入多个视觉模型（如CLIP、DINOv2、SAM）提取互补特征，通过动态门控加权融合，提升商品属性识别和空间关系理解。
- 高效代理设计可降低线上成本：使用轻量级学生模型离线预生成多种先验特征，避免每次推理都调用重模型，适合推荐系统的大规模商品库特征提取。
- 动态融合机制适用于推荐多信号源：将用户行为序列、商品图像、文本描述等视为不同模态先验，通过上下文感知的融合模块（如注意力加权）注入推荐模型，增强冷启动物品表征。
- 多专家先验协调思路可迁移到Agent决策：在搜索推荐Agent中，不同模型（如召回、排序、过滤）给出各自的候选，利用动态融合策略综合多路信号，提升最终决策质量。
ScAle：注意力头缩放作为最小适配器增强VLM空间推理
🧭 轻量级激活缩放适配视觉语言模型
Northeastern University · EmbodyX Inc. · Zhejiang University
仅用1K可训练标量系数缩放冻结VLM层激活，空间推理准确率相对提升最高134.1%
📌 工作参考价值（4 点）
- 极低资源任务适配：冻结整个VLM，只训练少量标量系数（~1K参数量）即可注入空间推理能力，适合快速部署到电商多模态场景（如商品图片方位判断、广告布局合理性校验）。
- 激活重标定策略：针对最后token的注意力输出和MLP激活做缩放，无需改动模型结构，可直接套用于现有推荐系统中的视觉理解模块（如对商品详情图进行空间关系抽取）。
- 原始能力无损：缩放系数被有界约束，避免灾难性遗忘，在非空间VQA上保持原有性能，这对线上多任务系统（如同时做商品质量评估和空间描述）很关键。
- 架构无关的即插即用：该方法不依赖特定注意力实现，可作为轻量级适配层嵌入任一Transformer，适合探索在图文匹配、虚拟试穿对齐等推荐链路环节快速实验。
SpatialClaw：以编程为行动界面的空间推理Agent
🧭 Agent 设计 · 代码作为行动界面 ★ 深度解读
NVIDIA · KAIST
提出以Python代码作为行动界面，在持久内核中迭代组合感知工具，显著提升开放式空间推理性能。
📌 工作参考价值（4 点）
- Code as Action 替代固定工具调用：在 Agent 设计中，用 Python 代码生成代替 JSON/XML 结构化工具调用，可动态组合基础 API（分割、重建、计算）完成任意复杂任务。电商场景的智能客服或商品属性提取 Agent 可借鉴，让模型根据问题实时编写数据处理代码，而非受限于预定义工具列表。
- 持久化内核支持观察-修正循环：将执行环境设为持久化 Python 内核，中间变量、可视化结果跨步骤保留。推荐系统的在线调参或分析环节可引入类似机制：每步执行后保留状态，Agent 根据输出反馈修正后续步骤，避免一次性提交全部分析策略。
- 通用计算库赋能动态组合：工具设计为普通 Python 可调用对象，同时预加载 NumPy/SciPy/Matplotlib，使 Agent 无需专属工具即可用基础运算实现统计、空间索引等需求。生成式推荐中，可让 Agent 在召回、排序阶段动态组合检索策略与重排逻辑，利用通用库实现临时的指标计算。
- 无微调的泛化 Prompt 工程：系统提示编码领域通用推理原则（如“用度量计算代替像素估计”、“多证据交叉验证”），而非任务特定示例，跨 20 个基准和多个模型家族均有效。构建电商多模态 Agent 时，可提取通用规则提示，降低每个新任务的手动适配成本。
SpatialWorld：多模态Agent真实世界交互式空间推理基准
🧭 多模态Agent · 交互式空间推理评测
Tsinghua University · Chongqing University · Peking University · ZenoMind AI · Xi’an Jiaotong University
构建统一基准评估多模态Agent在真实任务中的交互式空间推理，集成8个模拟器、760个人工任务，最强模型成功率仅17.4%
📌 工作参考价值（4 点）
- 统一评估层协议（simulator-agnostic, text-based action interface）可借鉴到多模态Agent评测 pipeline，屏蔽底层仿真差异，聚焦决策能力。
- 任务设计强调 partial observability 与主动探索，类似推荐系统中用户意图不明确时的多轮对话，可参考其“基于当前观察逐步求索”的交互范式。
- 终态验证器（terminal-state verifier）提供可复用的自动化评判模板，用于评估推荐Agent的最终目标达成（如购物车完成态）。
- 主要为学术基准，业务可借鉴点多在评估框架设计，空间推理本身在电商直接应用有限。
基于想象力的思考：与世界模拟器协作的Agent视觉空间推理
🧭 Agent视觉空间推理 · 世界模拟器
The University of Hong Kong · Shanghai AI Laboratory · Shanghai Jiao Tong University · Fudan University · Beihang University
提出Astra框架，通过RL训练VLM策略决定何时调用世界模拟器生成新视角图像，提升多视图空间推理能力
📌 工作参考价值（4 点）
- 工具调用的决策学习：Agent仅在想象观察优于直接回答时才调用世界模拟器，这种“何时使用工具”的策略可迁移到对话推荐Agent中，避免过度依赖外部信息导致延迟和误导。
- 两阶段RL课程设计：先通过行为克隆预热工具使用，再用RL优化调用决策，这种分阶段训练策略可用于训练推荐Agent学习何时调用知识检索或用户画像补充信息。
- 视一致性训练保证证据可靠：通过位姿和内容一致性约束训练世界模型，确保生成的观察与实际一致；类似地，在多模态推荐中生成商品描述或图像时，可引入一致性损失提升信息真实性。
- Agent与环境交互的闭环框架：Astra将视觉推理转化为“观察-想象-推理”循环，在电商场景中，可构建模仿用户浏览行为的模拟环境，让推荐Agent主动探索生成更合理的推荐理由。
为何远处向上看：探究视觉-语言模型的空间表征
🧭 视觉-语言模型 · 空间表征分析
Seoul National University · The Ohio State University · NVIDIA
发现VLMs将垂直图片位置与距离混淆，提出SpatialTunnel基准暴露空间捷径偏见，并表明解耦空间轴可提升鲁棒性
📌 工作参考价值（4 点）
- 多模态推荐（如基于产品图像的空间关系推荐）需警惕模型依赖垂直位置作为距离的捷径，建议用对比对探测内部表征是否解缠。
- 构建具身Agent的视觉模块时，应使用合成基准（如SpatialTunnel）评估空间推理鲁棒性，确保在反直觉视角下仍准确。
- 电商视觉搜索中涉及空间关系查询（如“沙发左侧的台灯”）时，可借鉴表征分析方法验证模型是否真正理解3D空间。
- 模型选型时，相似基准得分可能掩盖内部偏见差异；可补充表征探针，优先选择空间轴分离度高的VLM。
视觉退化下空间智能评测基准 SpaceDG
🧭 多模态大模型空间推理鲁棒性评测
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · University of Electronic Science and Technology of China · Chongqing University · The University of Tokyo
首次大规模评测多模态模型在真实视觉退化下的空间推理鲁棒性，并证明退化感知训练可超越人类
📌 工作参考价值（4 点）
- 退化数据增强提升 Agent 鲁棒性：在训练电商搜索、虚拟试穿等多模态 Agent 时，可直接引入 SpaceDG 的退化合成引擎（基于 3DGS）生成逼真的运动模糊、低光照、JPEG 压缩等图像，能显著提升模型对真实世界图像质量的鲁棒性，且不损害干净图像性能。
- 空间推理任务的迁移：SpaceDG-Bench 定义的三类空间任务（相机中心、相机-物体、物体中心）可改造为商品陈列合理性判断、家具摆放推荐等电商场景的评测，检验模型对空间关系（如“笔记本相对显示器在左边”）的理解。
- 退化下的多模态 fallback 策略：评测发现纯文本基线（GPT-5.4 无图像）在严重退化时准确度居然超过某些视觉模型，提示 Agent 设计时可在图像质量过低时自动切换至纯文本推理模式，避免错误空间决策。
- 训练效率启示：在 SpaceDG 退化数据上微调后，8B 模型即可超越人类退化条件下的表现，说明小模型通过针对性数据增强也能获得强鲁棒性，适合电商侧轻量部署。
Code-as-Room：基于 Agent 代码合成从俯视图生成 3D 房间
🧭 MLLM Agent 生成 3D 场景
Shanghai Artificial Intelligence Laboratory · Shanghai Innovation Institute · Southern University of Science and Technology · University of Warwick
提出一个 MLLM Agent 框架，通过结构化执行流水线从俯视图生成 Blender 代码来构建 3D 房间
📌 工作参考价值（3 点）
- 多阶段流水线 + 跨阶段记忆模块：将复杂生成任务拆解为解析、几何、材质、灯光等子阶段，并用记忆模块保持上下文一致，可借鉴到电商场景中自动生成商品布局或店铺装修，避免长流程遗忘。
- 代码作为可执行中间表示：用 Blender Python 脚本表示 3D 场景，具备可编辑性和确定性，类似思路可用于生成式推荐中，用代码描述推荐理由或布局，便于二次编辑与调试。
- 结构化执行 harness：为 Agent 设定明确的阶段输出 schema 和校验步骤，有效减少无限循环，可迁移到 Agent 业务系统中，提升稳定性与可控性。